Reference-Only Control
Input output
https://gyazo.com/795db4f36429f680503f0eb5bc47afe7https://gyazo.com/14ebd98986849f5a72e03ec9b65e5b10
なにをしているか？
入力画像と同じような画像を作る手法として、inpaintを使う方法がある https://gyazo.com/f97272fdb99a44af77c6b745ea8358b6
参考にする画像を左に、同じ大きさの空白を右に配置した画像を用意する
https://gyazo.com/8b36d5708d9b467b0b845993c310671c
右側をすべて塗りつぶしてマスクにする
https://gyazo.com/258cda99d5fcff51f445fbf259ddf3cc
code:prompt
portrait of 2 girl ,in the water
Masked content : fill / Resize to : 1024 512
inpaintはその周りを参考に画像を生成するので、なんとなく似た画像が作れる
面白い手法なのだけれど、画像を並べてるので生成画像が歪んだり、そもそも成功率が低かった
これを独立した画像でできるようにしたのがReference-Only Control
内部ではどうなっているのかな？基素.icon
使い方
https://gyazo.com/176f905c2b6f2c7ccb3e9de9af7782d2
ControlNetの入力に、参考したい画像を入れる
Preprocessorをreference_onryに
なんとなくそれっぽいプロンプトを入れる
全く違うプロンプトを入れてスタイルミックスみたいな使い方もでてくるかもしれないので、要研究nomadoor.icon
EnableにしてGenerate
https://gyazo.com/1c4b62b7428366e0df3977611acec7d7https://gyazo.com/bc9c487265d1e5c34edab8865485e510
とてもすごいnomadoor.icon
動作原理が全然違うとはいえ、UnCLIPよりよっぽど使えそう